\documentclass[a4paper,AutoFakeBold,oneside,12pt]{article}

%need xelatex
\usepackage[fntef]{ctex} % invole CJKfntef
\usepackage{ctex}

\usepackage{fontspec}%包含俄文

\setmainfont{CMU Serif}
%\setmainfont{LinLibertine}
%%%%%%%% 这两个宏包冲突, 只可保留其中一个
%\usepackage{amsfonts}
\usepackage{mathrsfs}
%%%%%%%%

%罗马数字
\newcommand{\RNum}[1]{\uppercase\expandafter{\romannumeral #1\relax}}

\usepackage{fancyhdr}
\usepackage{extramarks}
\usepackage{amsmath}
\usepackage{amsthm}

\usepackage{tikz}
\usepackage[plain]{algorithm}
\usepackage{algpseudocode}
\usepackage{amsthm}
\usepackage{mathtools}
\usepackage{bm}
\usepackage{physics}
\usepackage{calligra}
\usepackage{csquotes}
\usepackage{tensor}
\usepackage[thicklines]{cancel}
\usepackage{tcolorbox}
\usepackage{pstricks}
\usepackage{amssymb}
\usepackage{listings}

\usetikzlibrary{automata,positioning}

%
% Basic Document Settings
%

\topmargin=-0.45in
\evensidemargin=0in
\oddsidemargin=0in
\textwidth=6.5in
\textheight=9.0in
\headsep=0.25in

\linespread{1.1}

\pagestyle{fancy}
\lhead{\hmwkAuthorName}
\chead{\hmwkClass\ \hmwkClassInstructor\ \hmwkClassTime: \hmwkTitle}
\rhead{\firstxmark}
\lfoot{\lastxmark}
\cfoot{\thepage}

\renewcommand\headrulewidth{0.4pt}
\renewcommand\footrulewidth{0.4pt}

\setlength\parindent{0pt}

%
% Create Problem Sections
%

\newcommand{\enterProblemHeader}[1]{
	\nobreak\extramarks{}{习题 \arabic{#1} 接下页\ldots}\nobreak{}
	\nobreak\extramarks{习题 \arabic{#1} (continued)}{习题 \arabic{#1} 接下页\ldots}\nobreak{}
}

\newcommand{\exitProblemHeader}[1]{
	\nobreak\extramarks{习题 \arabic{#1} (continued)}{习题 \arabic{#1} 接下页\ldots}\nobreak{}
	\stepcounter{#1}
	\nobreak\extramarks{习题 \arabic{#1}}{}\nobreak{}
}

\setcounter{secnumdepth}{0}
\newcounter{partCounter}
\newcounter{homeworkProblemCounter}
\setcounter{homeworkProblemCounter}{1}
\nobreak\extramarks{Problem \arabic{homeworkProblemCounter}}{}\nobreak{}

\newenvironment{homeworkProblem}{
	\section{习题 \arabic{homeworkProblemCounter}}
	\setcounter{partCounter}{1}
	\enterProblemHeader{homeworkProblemCounter}
}{
	\exitProblemHeader{homeworkProblemCounter}
}

%
% Homework Details
%   - Title
%   - Due date
%   - Class
%   - Section/Time
%   - Instructor
%   - Author
%

\newcommand{\hmwkTitle}{作业\ \#1}
\newcommand{\hmwkDueDate}{9月14日, 2019}
\newcommand{\hmwkClass}{概率论与随机过程}
\newcommand{\hmwkClassTime}{}
\newcommand{\hmwkClassInstructor}{}
\newcommand{\hmwkAuthorName}{杨勇,2019110294}

%
% Title Page
%

\title{
	\vspace{2in}
	\textmd{\textbf{\hmwkClass:\ \hmwkTitle}}\\
	\normalsize\vspace{0.1in}\small{完成于 \hmwkDueDate}\\
	\vspace{0.1in}\large{\textit{\hmwkClassInstructor\ \hmwkClassTime}}
	\vspace{3in}
}

\author{\textbf{\hmwkAuthorName}}
\date{}

\renewcommand{\part}[1]{\textbf{\large Part \Alph{partCounter}}\stepcounter{partCounter}\\}

%
% Various Helper Commands
%

% Useful for algorithms
\newcommand{\alg}[1]{\textsc{\bfseries \footnotesize #1}}

% For derivatives
\newcommand{\deriv}[1]{\frac{\mathrm{d}}{\mathrm{d}x} (#1)}

% For partial derivatives
\newcommand{\pderiv}[2]{\frac{\partial}{\partial #1} (#2)}

% Integral dx
\newcommand{\dx}{\mathrm{d}x}

% Alias for the Solution section header
\newcommand{\solution}{\textbf{\large 解.}}

% Probability commands: Expectation, Variance, Covariance, Bias
\newcommand{\E}{\mathrm{E}}
\newcommand{\Var}{\mathrm{Var}}
\newcommand{\Cov}{\mathrm{Cov}}
\newcommand{\Bias}{\mathrm{Bias}}

\begin{document}
	
	\maketitle
	
	
	
	%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
	\pagebreak
	\begin{homeworkProblem}
		P34-35(1)写出下列各试验的样本空间:
		\begin{enumerate}
		    \item 连续抛掷1颗骰子2次, 记录它们的点数;
		    \item 连续抛掷1颗骰子2次, 记录它们的点数之和;
		    \item 连续抛掷1颗骰子, 直到点数"6"出现为止, 记录抛掷次数;
		    \item 在$(0,1)$上任取3点, 记录它们的坐标;
		    \item 从一生产线上生产出来的产品, 或为正品(记为1), 或为次品(记为0), 观察这些产品并把它们的情况记录下来, 这样继续下去, 直到生产了2个次品, 或检阅了四件产品就停止记录.
		\end{enumerate}
	\end{homeworkProblem}
	
	\solution
	\begin{enumerate}
	    \item \begin{align}
	        \Omega &= \{1,2,3,4,5,6\}\times\{1,2,3,4,5,6\}\nonumber\\
	        &= \{(j,k)\in\mathbb{N}^2:1\leqslant j,k\leqslant 6  \}.
	    \end{align}
	    \item \begin{equation}
	        \Omega = \{2,3,\cdots,12\}.
	    \end{equation}
	    \item \begin{equation}
	        \Omega = \{1,2,\cdots\} = \mathbb{N}^*.
	    \end{equation}
	    \item \begin{equation}
	        \Omega = (0,1)^3 = \{(j,k,l)\in\mathbb{R}^3:0< j,k,l< 1\}.
	    \end{equation}
	    \item \begin{equation}
	        \Omega = \{00,010,100,0111,1011,1101,1110,0110,1010,1100,1111\}
	    \end{equation}
	\end{enumerate}
	
	\begin{homeworkProblem}
		P34-35(3)考虑4件物品$a,b,c$和$d$, 假设所登记的这些物品的次序代表一个试验的结果, 令事件$A$和$B$定义如下: $A = \{a\text{在第一个位置} \}$,$B = \{b\text{在第二个位置} \}$.
		\begin{enumerate}
		    \item 说出事件$A\cup B$和$A\cap B$的意义;
		    \item 用试验结果表示$A\cup B$和$A\cap B$.
		\end{enumerate}
	\end{homeworkProblem}

    \solution
    \begin{enumerate}
        \item $A\cup B$表示 "$a$排在第一个位置 或者$b$排在第二个位置";
        $A\cap B$表示 "$a$排在第一个位置 并且$b$排在第二个位置".
        \item \begin{align}
            A\cup B &= \{abcd,abdc,acbd,acdb,adbc,adcb,cbda,cbad,dbac,dbca\}\nonumber\\
            A\cap B &= \{abcd,abdc\}.
        \end{align}

    \end{enumerate}

	\begin{homeworkProblem}
		P34-35(5)$A,B,C,D$表示4个事件, 用运算关系表示:
		\begin{enumerate}
		    \item $A,B,C,D$至少有1个发生;
		    \item $A,B,C,D$都不发生;
		    \item $A,B,C,D$都发生;
		    \item $A,B,C,D$恰有一个发生;
		    \item $A,B,C,D$至多一个发生.
		\end{enumerate}
	\end{homeworkProblem}
	
	\solution
	\begin{enumerate}
	    \item $A\cup B\cup C\cup D$;
	    \item $\overline{A}~\overline{B}~\overline{C}~\overline{D}$;
	    \item $ABCD$;
	    \item $A\overline{B}~\overline{C}~\overline{D}+ \overline{A}B\overline{C}~\overline{D}+ \overline{A}~\overline{B}C\overline{D}+\overline{A}~\overline{B}~\overline{C}D$;
	    \item $A\overline{B}~\overline{C}~\overline{D}+ \overline{A}B\overline{C}~\overline{D}+ \overline{A}~\overline{B}C\overline{D}+\overline{A}~\overline{B}~\overline{C}D+\overline{A}~\overline{B}~\overline{C}~\overline{D}$
	\end{enumerate}
	
	
	\begin{homeworkProblem}
		P34-35(6)如图1-1所示的电路中, 以$A$表示事件"信号灯亮", $B,C,D$分别表示事件: 继电器接点\RNum{1},\RNum{2},\RNum{3}闭合, 试以$B,C,D$表示$A$及$\overline{A}$.
	\end{homeworkProblem}
	
	\solution
	\begin{enumerate}
	    \item $A = B(C\cup D)$;
	    \item 由de Morgen公式知道: \begin{equation}
	        \overline{A} = \overline{B}\cup(\overline{C}~\overline{D}).
	    \end{equation}
	\end{enumerate}
	
	
	\begin{homeworkProblem}
		附加问题:(1)查阅概率论相关历史
	\end{homeworkProblem}
	
	\solution
	
A、起源

概率论这门学科可以说起源于赌博。尽管早在15世纪与16世纪意大利的一些数学家（如Cardano，Pacioli，Tartaglia等）已经对一些靠运气的游戏中的特定概率进行了计算，但是，概率论作为一门学科起源于17世纪。
1654年，一个名叫A.G.C. de Méré的法国贵族对赌博以及赌博中的问题很感兴趣，但他对一些问题感到很困惑，为了解决自己的困惑，他向数学家B.Pascal（1623-1662）求助。为了解答de Méré提出的问题，Pascal与法国数学家P.Fermat（1601-1655）进行了通信讨论。1655年，荷兰数学家C.Huygens(1629-1695)首次访问巴黎，期间他学习了Pascal与Fermat关于概率论的工作。Huygens是一个名声和Newton相当的大科学家. 人们熟知他的贡献之一是物理中的单摆公式. 他在概率论的早期发展历史上也占有重要的地位. 1657年，当他回到荷兰后，他写了一本小册子，名叫《De Ratiociniis in Ludo Aleae》（可译为《机遇的规律》），这是关于概率论的第一本书。在这部著作中, 他首先引进了"期望"这个术语.在此,"数学期望"这个基本概念以及关于概率的可加性、可乘性已经建立。他基于这些术语解决了一些当时感兴趣的博弈问题. 他在这部著作中提出了14条命题, 第一条命题是:

如果某人在赌博中以一半的可能性赢$a$元,以一半的可能性输$b$元, 则他的期望是\begin{equation}
	\frac{a-b}{2} (\text{元}).
\end{equation}

B、18-19世纪

概率论在18世纪得到了快速发展，这个期间的主要贡献者是J.Bernoulli(1654-1705)和A. de Moivre（1667-1754）。在19世纪，概率论的早期理论得到了进一步的发展与推广，这个期间的主要贡献者是P.S.M. Laplace（1749-1827），S.D. Poisson（1781-1840），C.F. Guass（1777-1855），P.L. Чебышёв(切比雪夫)（1821-1894）， 马尔可夫(A.A.Марков)（1856-1922）与李雅普诺夫(A.M.Ляпуно́в)（1857-1918）。这个时期的研究主要围绕着概率极限定理展开。

Jacob Bernoulli是一位瑞士数学家，是Bernoulli家族的第一位数学家。 1705年, 他在瑞士Basel去世. 8年后,也就是1713年,他在概率论领域的代表作《Ars Conjectandi》一书正式出版（可译为《猜测的艺术》）.他的这本书正式出版标志着概率论学科的开始. 该书仅包含一个数学定理,即著名的Bernoulli大数定律,这是概率论的第一个极限定理.

Bernoulli大数定律:假设$\{\xi_n\}$为一个独立同分布的随机变量序列,$P(\xi_n = 1) = p, P(\xi_n = 0) = 1-p$, 其中$0<p<1$. 令$S_n = \sum_{k=1}^{n}\xi_k$, 那么
\begin{equation}
	P\left(\omega:\left|\frac{S_n(\omega)}{n}-p\right|>\varepsilon \right)\to 0,~~n\to\infty.
\end{equation}
17世纪下半叶, Newton刚发明微积分不久, 人们对计算各种数列的极限有着相当大的兴趣, 并发展了不少有效的方法和技巧. 但是, "$\varepsilon-N$"语言并不能很好地解释"随机试验中频率是否收敛到概率"这样的问题.正是Bernoulli大数律首次给出了"频率收敛到概率"的数学解释和严格证明.

Bernoulli大数律内涵丰富,成为了后人发展概率论的源泉. (9)式充分肯定了经验观测可以揭示随机现象规律的基本思想; 提出了随机变量序列依概率收敛到常数(甚至收敛到随机变量)的基本概念. 受此启发,人们自然会问:如果考虑一般的随便变量的平均值, 情况会如何? 特别,假设$\{\xi_n\}$为一个独立同分布的随机变量序列,$\mathrm{E}\xi_n = \mu$.令$S_n = \sum_{k=1}^{n}\xi_k$, 那么\begin{equation}
P\left(\omega:\left|\frac{S_n(\omega)}{n}-p\right|>\varepsilon \right)\to 0,~~n\to\infty
\end{equation}成立么?

用观测平均值去计算真值的思想很早以前就已出现,并一直用于日常生活和社会实践,关键在于能否给出一个严格的数学证明吗?

回顾(9)式的证明,Bernoulli二项分布起着关键作用.事实上,$S_n\sim \mathcal{B}(n,p)$.因此
\begin{equation}
	P\left(\omega:\left|\frac{S_n(\omega)}{n}-p\right|>\varepsilon \right)	= \sum_{k:|k-np|>n\varepsilon}\binom{n}{k}p^k(1-p)^{n-k}.	
\end{equation}

利用杨辉三角或者Pascal二项组合式,容易得到\begin{equation}
	\sum_{k=0}^n\binom{n}{k}p^k(1-p)^{n-k} = 1.	
\end{equation}

但是,(11)的困难在于计算部分和,而不是对所有$k=0,1,\cdots,n$求和. 为此, Bernoulli利用了$n!$的渐进计算公式. 显然,这样一个计算技巧对(10)不合适, 因为$\xi_n$的分布并不知道. 事实上,即使$\xi_n$只取三个值, Bernoulli的计算方法仍然显得笨拙而不可行!

为了证明(10), 需要用到下面的 Чебышёв(切比雪夫)不等式:假设$X$是随机变量, $\mathrm{E}X = \mu,\mathrm{var}(X) = \sigma^2$,那么对任意$x>0$
\begin{equation}
	P(|X-\mathrm{E}X|\geqslant x)\leqslant \frac{\mathrm{var}(X)}{x^2}.
\end{equation}

 在当代概率论中，与Poisson相关的有Poisson分布、Poisson过程。Guass创立了误差理论，特别地，创立了最小二乘的基本方法。切比雪夫(Чебышёв)，马尔可夫(Марков)与李雅普诺夫(Ляпуно́в)在研究独立但不同分布的随机变量和的极限定理方面发展了有效的方法。
 Чебышёв(切比雪夫)被看作俄国现代数学之父.上述切比雪夫(Чебышёв)不等式在概率论学科发展中起着举足轻重的作用.事实上,概率自16世纪由赌博游戏引入以来,到19世纪末,历经300年.尽管由不少的大数学家热衷于概率的研究并积极倡导和应用,但相对于这一时期的分析、代数、几何等其它数学分支而言,概率论的发展可以说是十分缓慢, 并且, 在总体上来说, 概率论学科还停留在一些具体事件的概率计算上.在切比雪夫(Чебышёв)之前，概率论的主要兴趣在于对随机试验的概率进行计算。而切比雪夫(Чебышёв)是第一个清晰认识并充分利用随机变量及其数学期望的人。切比雪夫(Чебышёв)思想的主要倡导者是他忠诚的学生马尔可夫(Марков)，他将老师的结果完整清晰地展现出来。马尔可夫(Марков)自己对概率论的重大贡献之一是创立了概率论的一个分支：研究相依随机变量的理论，成为"马尔可夫(Марков)过程".可以说, 切比雪夫(Чебышёв)不等式可以看作一个时代的转折点.
 

作为应用,可以用(13)证明(9):
\begin{equation}
	P\left(\omega:\left|\frac{S_n(\omega)}{n}-p\right|>\varepsilon \right)
	\leqslant \frac{\mathrm{var}(S_n/n)}{\varepsilon^2} = \frac{\mathrm{var}(S_n)}{n^2\varepsilon^2}.
\end{equation}
既然$\varepsilon>0$是任意给定的正数,那么只要验证$\mathrm{var}(S_n) = o(n^2)$就够了.在二项分布情形,
\begin{equation}
	\mathrm{var}(S_n) = \sum_{k=0}^n(k-np)^2\binom{n}{k}p^k(1-p)^{n-k} = np(1-p).
\end{equation}
注意,正如(12)一样,(16)的计算比(11)要容易得多.更为重要的是,上述讨论不局限于Bernoulli二项分布,而适用于非常广泛的随机变量序列.以下是切比雪夫(Чебышёв)大数定律:
假设$\{\xi_n\}$为一个随机变量序列,$\mathrm{E}\xi_n = \mu_n, \mathrm{var}(\xi_n) = \sigma^2$. 如果\begin{equation}
	\mathrm{var}(S_n) = o(n^2),
\end{equation}
那么\begin{equation}
	P\left(\omega:\left|\frac{S_n(\omega)}{n}-\frac{1}{n}\sum_{k=1}^n\mu_k\right|>\varepsilon \right)\to 0,~~n\to\infty.
\end{equation}
该定理的条件(17)包含的范围非常广泛. 如独立同分布且方差有限; 独立不同分布且方差有界; 不独立但互不相关且方差有界; 其它相依情形.后几种情形更为常见, 在实际观测时, 并不能苛求试验环境, 数据之间不可避免地存在一定联系, 并且不能保证同分布.

切比雪夫(Чебышёв)大数律显然是Bernoulli大数律的极大推广.但是条件(17)对于一个大数律来说无疑有点强. 辛钦(Хи́нчин)改进了切比雪夫(Чебышёв)大数律, 在独立同分布且数学期望存在有限的情况下,证明了(10).当然,此时无法直接使用切比雪夫(Чебышёв)不等式(13), 截尾方法应运而生.

Bernoulli大数律告诉人们: 给定任意精度, 只要试验重复足够多次, 频率就有很大可能接近概率真值, 以致误差在给定精度内. 人们自然会问, 试验次数究竟多大合适? 该如何确定呢? 当然, 给定精度$\varepsilon>0$, 无论$n$多么大, 都无法保证独立重复试验后$|S_n/n-p|\leqslant\varepsilon$. $n$的大小取决于事先给定的可靠度(置信度), 关键在于如何由精度和可靠度来确定$n$. 即, 给定$\varepsilon>0,\eta<1$, 如何有效地表达(近似)\begin{equation}
	P\left( \omega:\left| \frac{S_n(\omega)}{n}-p \right|>\varepsilon \right) = \eta.
\end{equation}

de Moivre和Laplace考虑了上面的问题, 并对独立二点分布的随机变量序列证明了以下中心极限定理: 对任意实数$a<b$,\begin{equation}
	P\left( \omega:a<\frac{S_n(\omega)-np}{\sqrt{np(1-p)}} \leqslant b  \right) \to \Phi(b)-\Phi(a).
\end{equation}
直接应用该结果, (18)可写成\begin{equation}
	P\left( \omega:\left| \frac{S_n(\omega)}{n}-p \right|>\varepsilon \right) \approxeq 2\left( 1-\Phi\left(\varepsilon\sqrt{\frac{n}{p(1-p)}}\right) \right)=: \eta.
\end{equation}
由此可计算$n$的大小(依赖于$\varepsilon,n,p$).

de Moivre是一位法国数学家，但是大部分时间他住在英国. de Moivre在前人, 特别是Bernoulli家族和Huygens的基础上, 研究和发展概率论,可以说, 他开创了概率论的现代方法:1711年出版了《The Doctrine of Chances》.在此书中，统计独立性的定义首次出现。该书在1738年与1756年出了扩版，生日问题出现在1738年的版本中，赌徒破产模型出现在1756年的版本中, 并在赌徒中很有影响和地位.
1730年，de Moivre的另一本专著《Miscellanea Analytica Supplementum》（可译为《解析方法》）正式出版。其中，关于对称Bernoulli试验的中心极限定理首次提出并得到证明。
他首先考虑了$p=1/2$情形,并和他的好朋友Stirling同时发现了下列公式\begin{equation}
	n!\sim \sqrt{2\pi n}n^ne^{-n}.
\end{equation}
通常称(21)为Stirling公式, 实际上应该为de Moivre-Stirling公式.

差不多40年后, Laplace考虑了$p\neq 1/2$情形. 应该说, Laplace对概率统计和天体力学的贡献巨大. 他在1799-1825年间出版了五卷本《Celestial Mechanics》.
1812年，Laplace的伟大专著《Théorie Analytique des Probabilitiìés》(可译为《概率论的解析理论》)诞生，其中，他阐述了他自己及前辈在概率论方面的结果。特别地，他将de Moivre的定理推广到Bernoulli试验非对称情形。Laplace最重要的工作是将概率方法应用到观测误差，在很一般的条件下证明了观测误差的分布一定是渐进正态的。直到今天, 人们在概率极限理论方面的研究还受到Laplace的影响.

正如Bernoulli大数定律一样, de Moivre-Laplace中心极限定理对概率论学科的发展影响深远,受(19)启发, 人们提出了随机变量序列依分布收敛的概念, 并给出了一般形式的中心极限定理:假设$\xi_1,\xi_2,\cdots$是一独立同分布的随机序列,$\mathrm{E}\xi_n = \mu,\mathrm{var}(\xi_n) = \sigma^2$, 那么
\begin{equation}
	P\left( \omega:\frac{S_n(\omega)-n\mu}{\sqrt{n}\sigma}\leqslant x \right) \to \Phi(x),~~~n\to\infty.
\end{equation}
但是, 如何证明呢?我们需要找到一个有效的工具和判别准则. 随着调和分析的发展, 人们发现Fourier变换是研究分布函数的一个有效工具. 在概率论学科中, 大家称分布函数的Fourier变换为特征函数. 为证明概率论的中心极限定理，切比雪夫(Чебышёв)和马尔可夫(Марков)利用的是矩方法，而李雅普诺夫(Ляпуно́в)利用了特征函数的方法。极限定理的后续发展表明特征函数方法是一种强大的解析工具。

假设$X$是个随机变量, 定义$\phi(t) = \mathrm{E}\mathrm{e}^{itX}$为其特征函数(c.f.). 任意的随机变量都存在特征函数, 并且它具有非常良好的分析性质、运算性质和唯一性. 随着特征函数的引入, 20世纪20-30年代概率论的发展进入了一段黄金时期. 法国数学家Lévy建立了连续性定理:$X_n\stackrel{d}{\rightarrow}X$当且仅当$\phi_n(t)\to\phi(t)$. 其中, $\phi_n$和$\phi$分别为$X_n$和$X$的c.f.. 由此, 可以证明(22). 事实上, 令$X_n = \frac{S_n-n\mu}{\sqrt{n}\sigma}$, 那么
\begin{equation}
        \mathrm{E}\mathrm{e}^{itX_n} =\prod_{k=1}^n\mathrm{E}\mathrm{e}^{it\frac{\xi_k-\mu}{\sqrt{n}\sigma}}
        =\left( 1-\frac{t^2}{2n}+o(1/n) \right)^n
        \to \mathrm{e}^{-t^2/2}.
\end{equation}
所以,(22)成立. 这被称为Feller-Lévy中心极限定理, 这个证明已经写入许多的本科生概率论教材, 具有微积分基础的同学们都能掌握.

Lindeberg和Feller研究了独立不同分布情形, 他们再次运用了特征函数的方法证明了下列定理: 假设$\{\xi_n;n\geqslant 1\}$为一独立的随机序列, 相应的分布函数分别为$F_n$, 并且$\mathrm{E}\xi_n = \mu_n,~\mathrm{var}(\xi_n) = \sigma^2_n<\infty$. 若$B_n^2 = \sum_{k=1}^{n}\sigma_k^2\to\infty$. 那么
\begin{equation}
    \max_{1\leqslant k\leqslant n} \frac{\sigma^2}{B_n^2}\to 0
\end{equation}
和\begin{equation}
    \frac{1}{B_n}\sum_{k=1}^n(\xi_k-\mu_k)\stackrel{d}{\rightarrow}\mathcal{N}(0,1)
\end{equation}
成立当且仅当对任意$\varepsilon>0$,
\begin{equation}
    \frac{1}{B_n^2}\sum_{k=1}^n\int_{\abs{x-\mu_k}>\varepsilon B_n}(x-\mu_k)^2\mathrm{d}F_k(x)\to 0.
\end{equation}
称(24)为Feller条件, (26)为Lindeberg条件.  当随机变量同分布且方差都存在时, 这些条件都满足. 当随机变量不同分布时, (24)意味着各个随机变量$\xi_k/B_n$"一致地无穷小, 没有一个起显著作用". 正如切比雪夫(Чебышёв)大数律一样, Lindeberg-Feller定理应用非常广泛, 譬如说各类测量误差可以近似地用正态分布描述.

中心极限定理不仅适用于独立随机变量的部分和, 而且可以推广到许多相依随机变量序列情形, 如鞅差序列,马尔可夫(Марков)链, 各类混合序列, 正、负相依(伴)序列等, 从而发展了许多新的方法, 如20世纪70年代提出的Stein方法.

除Bernoulli大数律和de Moivre-Laplace中心极限定理外, 另一个经典极限定理是Poisson极限定理. 它讨论的仍然是二项分布. 假设$\{S_n;n\geqslant 1\}$为一列二项分布随机变量, $S_n\sim\mathcal{B}(n,p_n)$. 如果$np_n\to \lambda>0$, 那么对每个$k=0,1,2,\cdots$
\begin{equation}
    \lim_{n\to\infty}P(\omega:S_n(\omega) = k) = \frac{\lambda^k}{k!}\mathrm{e}^{-\lambda}.
\end{equation}
注意, $\sum_{k=0}^{+\infty}\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda} = 1$. 因此, 可以构造一个随机变量$X$, 具有分布\begin{equation}
    P(\omega:X(\omega) = k) = \frac{\lambda^k}{k!}\mathrm{e}^{-\lambda},~k=0,1,2,\cdots,
\end{equation}
称$X$是服从Poisson分布的随机变量, 记作$X\sim\mathcal{P}(\lambda)$. (27)可写作
\begin{equation}
    S_n\stackrel{d}{\rightarrow}\mathcal{P}(\lambda).
\end{equation}
(29)的证明并不难, 利用Stirling公式(21)直接计算或利用Lévy连续性定理均可.

以上三大极限定理讨论的都是Bernoulli二项分布的随机变量.

D、20世纪

20世纪可成为概率论发展的现代时期，本时期开始于概率论的公理化。在这个方向上的早期贡献者有S.N. Berstein（1880-1968）， R. von Mises（1883-1953）与E.Borel（1871-1956）。1933年，俄罗斯著名数学家柯尔莫哥洛夫(A.H.Колмого́ров)出版了他的伟大专著《Foundations of the Theory of Probability》。书中，他为概率论建立了目前广泛采纳的公理化体系。这一时期，中国数学家、概率论先驱许先生（Paolu Hsu，1910-1970）在内曼-皮尔逊理论、参数估计理论、多元分析、极限理论等方面取得卓越成就，许宝騄先生是多元统计分析学科的开拓者之一。

20世纪20-30年代, 人们试图寻求一种普适极限定理, 来描述随机现象的内在规律. 假设$\{\xi_{n,k};1\leqslant k\leqslant k_n,n\geqslant 1 \}$为行内独立的三角组列, 令
\begin{equation}
    S_n = \sum_{k=1}^{k_n}\xi_{n,k}
\end{equation}
表示组列的第$n$行随机变量的和. 如果对任意$\varepsilon>0$,
\begin{equation}
    \max_{1\leqslant k\leqslant k_n}P(\omega:\abs{\xi_{n,k}(\omega)}>\varepsilon)\to 0~(n\to\infty),
\end{equation}
那么称$\{\xi_{n,k}\}$满足无穷小条件. 该条件意味着每行内的随机变量"一致地小, 没有一个起显著作用". 如果$S_n$解释为测量误差, 那么$\{\xi_{n,k};1\leqslant k\leqslant k_n\}$可看作是造成误差的诸多细微的因素, 每一个因素都会导致测量误差, 但没有系统误差. 人们自然会问: 用什么描述$S_n$的分布比较合适? 事实上, 当误差的因素可以细分, 并且满足无穷小条件(31)时, 误差$S_n$的分布是无穷可分分布.

假设$X$是随机变量, $F(x)$是它的分布函数, $\phi(t)$是它的特征函数. 如果对任意$n\geqslant 1$, 存在随机变量$\xi_{n,1},\cdots,\xi_{n,n}$使得
\begin{equation}
    X\triangleq \sum_{k = 1}^{n}\xi_{n,k},
\end{equation}
那么称$X$为无穷可分随机变量. 等价地, 可以用分布函数或特征函数来描述. 无穷可分分布族包括退化单点分布、正态分布、Poisson分布以及它们的混合分布; 但不包括有界非退化随机变量. 一个分布可以是无穷可分分布当且仅当它的特征函数$\phi(t)$可以写成下列Lévy-Хи́нчин表示:
\begin{equation}
    \phi(t)= \exp\left(\mathrm{i}\gamma t-\frac{\sigma^2t^2}{2}+\int_{-\infty}^{\infty}\left(\mathrm{e}^{\mathrm{i}tx}-1-\frac{\mathrm{i}tx}{1+x^2}\right)\frac{1+x^2}{x^2}\mathrm{d}G(x) \right),
\end{equation}
其中,$\gamma$为常数, 函数$G(x)$满足单调不减右连续左极限存在, $G(-\infty) = 0$并且$G(\infty)<\infty$.

普适极限定理断言: 如果无穷小三角组列$\{\xi_{n,k}\}$的行和$S_n$依分布收敛到某个随机变量$X$, 那么$X$一定是无穷可分分布的随机变量. 进而, 可以给出收敛到某给定的无穷可分分布的充要条件. 事实上, 三大经典极限定理都是普适极限定理的特殊情况. 可以说, 普适极限定理是20世纪20-30年代的杰作, 它将特征函数方法运用到极致. 然而, 由于理论过于一般化, 证明相当繁琐, 初学者不易掌握.

几乎处处收敛. 假设$X,X_n,n\geqslant 1$为一列定义在概率空间$(\Omega,\mathscr{A},P)$上的随机变量, 如果存在一个$\Omega_0$, 使得$P(\Omega_0) = 1$, 并且对每一个$\omega\in\Omega_0$都有
\begin{equation}
    \lim_{n\to\infty}X_n(\omega) = X(\omega),
\end{equation}
则称$X_n$几乎处处收敛到$X$, 记作$X_n\to X,\mathrm{a.s.}$. 就概念本身而言, 几乎处处收敛是容易理解的. 在随机变量序列的各种各样收敛性中, 几乎必然收敛是最强的收敛性之一. 如何判别某随机变量序列几乎处处收敛呢? 不满看出$X_n\to X,\mathrm{a.s.}$当且仅当对任意$\varepsilon>0$,
\begin{equation}
    P(\omega:\abs{X_n(\omega)-X(\omega)}>\varepsilon,\mathrm{i.o.}) = 0.
\end{equation}
这等价于\begin{equation}
    \lim_{n\to\infty}P(\omega:\sup_{k\geqslant n}\abs{X_k(\omega)-X(\omega)}>\varepsilon) = 0.
\end{equation}
显然, 一个充分条件为\begin{equation}
    \sum_{n = 1}^{+\infty}P(\omega:\abs{X_n(\omega)-X(\omega)}>\varepsilon)<\infty.
\end{equation}
更一般地, 有下列Borel-Cantelli引理: 假设$\{A_n;n\geqslant 1\}$是一列事件, 如果$\sum_{n =1}^{+\infty}P(A_n)<\infty$, 那么$P(A_n,\mathrm{i.o.}) = 0$. 当然, 级数收敛这一条件要强得多. 不过, 如果$\{A_n\}$是一列两两独立的事件, 并且$P(A_n,\mathrm{i.o.}) = 0$, 那么$\sum_{n = 1}^{+\infty}P(A_n)<\infty$.

Borel强大数律:假设$\{\xi_n,n\geqslant 1\}$是一列独立同分布的随机变量, $P(\xi_n = 1) = p,P(\xi_n = 0) =1-p$. 令$S_n = \sum_{k=1}^n\xi_k$, 那么\begin{equation}
    \lim_{n\to\infty}\frac{S_n}{n} = p,\mathrm{a.s.}.
\end{equation}
显然, Borel强大数律更为深刻地解释了"频率收敛到概率的基本事实". 值得强调, 从Bernoulli大叔律到Borel大数律历经两百年, 无数人为此进步付出了毕生精力. 证明是Borel-Cantelli引理的简单应用. 事实上,
\begin{equation}
    \sum_{n = 1}^{+\infty}P(\omega:\abs{\frac{S_n(\omega)}{n}-p}>\varepsilon)\leqslant \sum_{n = 1}^{+\infty}\frac{\mathrm{E}\abs{S_n-np}^4}{n^4\varepsilon^4}<\infty.
\end{equation}
如果有什么需要注意的话, 那就是(38)中所有的$\xi_n$都定义在同一个概率空间上, 以至于$S_{n+1}(\omega) = S_{n}(\omega)+\xi_{n+1}(\omega)$.

正如我们所注意到的那样, Borel大数律的证明之所以简单, 在于$S_n\sim\mathcal{B}(n,p)$, 因此, 它的四阶矩存在, 并且$\mathrm{E}\abs{S_n-np}^4 = o(n^2)$. 能否将辛钦(Хи́нчин)大数律加强为$\mathrm{a.s.}$收敛么?柯尔莫哥洛夫(Колмого́ров)强大数律肯定地回答了这个问题.

柯尔莫哥洛夫(Колмого́ров)是20世纪最伟大的数学家之一,也是现代概率论的奠基人.1920年,他进入莫斯科国立大学学习,1929年获得博士学位.博士期间他完成了多篇论文,其中最具代表性的工作有: 强大数律、三级数定理, 以及重对数律.

柯尔莫哥洛夫(Колмого́ров)强大数律:假设$\{\xi_n;n\geqslant 1\}$为独立同分布的随机序列,令$S_n =\sum_{k=1}^n\xi_k$,那么\begin{equation}
    \lim_{n\to\infty}\frac{S_n}{n} = \mu,\mathrm{a.s.}
\end{equation}
当且仅当$\mathrm{E}\abs{\xi_1}<\infty,\mathrm{E}\xi_k = \mu$.

条件的必要性是Borel-Cantelli引理的简单推论; 但充分性的证明要复杂得多. 为此, 柯尔莫哥洛夫(Колмого́ров)
创造了许多新的方法, 包括子序列方法和独立随机变量部分和的最大值不等式.

1929年, 柯尔莫哥洛夫(Колмого́ров)证明了著名的有界重对数律:
假设$\{\xi_n;n\geqslant 1\}$为一独立随机变量序列. $\mathrm{E}\xi_n = 0,\mathrm{var}(\xi_n) = \sigma^2_n<\infty$. 令$S_n = \sum_{k=1}^n\xi_k$, $B_n^2 = \sum_{k=1}^n\sigma_k^2\to\infty$. 如果$\abs{\xi}\leqslant M_n = o(\frac{B_n}{\sqrt{\ln\ln B_n^2}}),\mathrm{a.s.}$, 那么\begin{equation}
    \limsup_{n\to\infty}\frac{\abs{S_n}}{\sqrt{2B_n^2\ln\ln B_n^2}} = 1,\mathrm{a.s.}
\end{equation}
这个定理的意义是多方面的. 它是以一种完全不同于大数律和中心极限定理的形式刻画了独立随机变量和的渐进性质. 它将Borel-Cantelli引理用到了极致,还创建了指数型不等式.

对于独立随机变量序列$\{\xi_n;n\geqslant 1\}$,\begin{equation}
    \limsup_{n\to\infty}\frac{\abs{S_n}}{\sqrt{2n\ln\ln B_n^2}} = \sigma,\mathrm{a.s.}
\end{equation}
当且仅当$\mathrm{E}\xi_k = 0,\mathrm{E}\xi_k^2 = \sigma^2<\infty$.

令人惊讶的是, 该定理直到1941年才由Hartman-Wintner证明.

19世纪末、20世纪初,整个数学正在经历着一场革命. Lebesgue测度论、Poincaré的拓扑学、Hilbert的23个问题, 都给20世纪的数学家留下了巨大的发展空间. 概率论学科经过了200多年的孕育后, 于20世纪初迎来了发展的黄金时期. 柯尔莫哥洛夫(Колмого́ров)于1933年出版的著作《Foundations of the Theory of Probability》标志着现代概率论的开始.此书共分四章,主要内容包括
一、构建概率论的公理化体系;二、发展条件概率和条件期望;三、给出无穷维分布的相容性条件;四、证明独立随机变量和的极限定理. 它们为后来整个概率论学科的发展奠定了基础.

正如大家注意到的那样, 无论大数律、中心极限定理, 还是重对数律, 讨论的都是收敛性的问题. 以Lévy-Feller定理为例, 假设$\{\xi_n;n\geqslant 1\}$独立同分布, $\mathrm{E}\xi_n = 0$,$\mathrm{var}(\xi_n) = 1$, 那么对每个$x$,\begin{equation}
    P\left( \omega:\frac{S_n}{\sqrt{n}}\leqslant x \right)\to\Phi(x), (n\to\infty).
\end{equation}
由于$\Phi(x)$是单调递增的连续函数, 所以上述收敛一致成立, 即\begin{equation}
    \Delta_n\triangleq \sup_{-\infty<x<\infty}\abs{P\left( \omega:\frac{S_n}{\sqrt{n}}\leqslant x \right)-\Phi(x)}\to 0,(n\to\infty).
\end{equation}
一个自然的问题是:$\Delta_n$趋于0的速度如何? 这不仅仅是个理论问题, 而且在数理统计中有着重要应用. Berry-Esseen给出了下列结果: 假设$\xi_k$,$1\leqslant k\leqslant n$独立同分布, $\mathrm{E}\xi_k = 0$, $\mathrm{var}(\xi_k)) = 1$, $\mathrm{E}\abs{\xi_k}^3<\infty$, 那么存在一个数值常数$A>0$,使\begin{equation}
    \Delta_n\leqslant A\frac{\mathrm{E}\abs{\xi_1}^3}{\sqrt{n}}
\end{equation}
对于独立不同分布情形,类似结果成立:
\begin{equation}
    \sup_{-\infty<x<\infty}\abs{P\left( \omega:\frac{S_n-\mathrm{E}S_n}{B_n}\leqslant x \right)-\Phi(x)}\leqslant A\frac{\sum_{k=1}^n\mathrm{E}\abs{\xi_k}^3}{B_n^3}.
\end{equation}
注意, (45)和(46)对任意$n\geqslant 1$都成立. 有兴趣的是, 这个定理中, 如果不对$\xi_k$的分布加以假设, (45)中的上界的阶是不能再改进了的. 例如,如果$P(\xi_n = \pm 1)=1/2)$, 那么$P(S_n = 0) \sim n^{-1/2}$. 但是对于有界对称连续型随机变量, (45)中上界的阶可以改进到$n^{-1}$.

根据(45),\begin{equation}
    P(\omega:\frac{S_n(\omega)}{\sqrt{n}}\leqslant x) = \Phi(x)+O(n^{-1/2}).
\end{equation}
类似地\begin{equation}
    P(\omega:\frac{S_n(\omega)}{\sqrt{n}}> x) = 1-\Phi(x)+O(n^{-1/2}).
\end{equation}
这些结果对统计推断中置信区间估计和假设检验都非常有用. 但是, 当$x$比较大时, $1-\Phi(x)$本身就很小, 有可能远比$n^{-1/2}$小. 例如, 保险精算中破产概率及其风险的估计中就可能出现这种问题. 这样, 用(48)来估计$P(\omega:S_n>\sqrt{n}x)$就当然不准确了. Cramér证明了\begin{equation}
    \frac{P(\omega:S_n>\sqrt{n}x)}{1-\Phi(x)} = (1+o(1))\exp(\frac{x^3}{\sqrt{n}}\lambda(\frac{x}{\sqrt{n}})),
\end{equation}
其中$x=o(\sqrt{n})$, $\lambda(\cdot)$为Cramér级数. 称(49)为Cramér型大偏差, 用于描述小概率事件的渐进性质. 20世纪60-70年代, Donsker, Varadhan等进一步考虑了多维随机变量和随机过程的大偏差. 大偏差理论现在已经成为了概率极限理论的一个重要分支.

为了精确刻画大数律的收敛性, 许宝騄和Robbins在1947年证明了下列完全收敛性: 假设$\{\xi_n;n\geqslant 1\}$是一列独立同分布的随机变量, $\mathrm{E}\xi_1 = 0$, $\mathrm{E}\xi_1^2<\infty$, 那么对任意$\varepsilon>0$,\begin{equation}
    \sum_{n=1}^{+\infty}P\left( \omega:\abs{\frac{S_n(\omega)}{n}}>\varepsilon \right)<\infty.
\end{equation}
显然,从上式可推出强大数律成立, 从而$\mathrm{E}\abs{\xi_1}<\infty$并且$\mathrm{E}\xi_1 = 0$. 但是, 方差的存在性并不明显. 事实上, Erdős在1950年证明了方差存在有限是(50)成立的必要条件. 而Baum-Katz在1968年证明了\begin{equation}
        \sum_{n=1}^{+\infty}\frac{1}{n}P\left( \omega:\abs{\frac{S_n(\omega)}{n}}>\varepsilon \right)<\infty
\end{equation}
当且仅当$\mathrm{E}\abs{\xi_1}<\infty$并且$\mathrm{E}\xi_1 = 0$.

随后, 在上世纪70-80年代, 有大量文献作着关于各种各样的完全收敛性的讨论. 其中一个非常有意思的问题是: (50)的左边究竟有多大? 它是如何以来$\varepsilon>0$的? Hedey在1980年考虑了这个问题并证明了下列结论: 假设$\{\xi_n;n\geqslant 1\}$是个独立同分布的随机序列, $\mathrm{E}\xi_1=0$, $\mathrm{E}\xi_1^2 = \sigma^2<\infty$, 那么
\begin{equation}
    \lim_{\varepsilon\to 0}\varepsilon^2\sum_{n=1}^{+\infty}P\left( \omega:\abs{\frac{S_n(\omega)}{n}}>\varepsilon \right) = \frac{\sigma^2}{2}.
\end{equation}
其证明利用了中心极限定理以及正态分布的尾概率估计. 当然, 可以进一步讨论其它类似的问题. 现在, 文献中称这类问题为精确渐进性.

在20世纪，随机过程理论（马尔可夫(Марков)过程，平稳过程,Martingales（鞅论）,随机过程的极限定理等）得到了快速的发展。另外，还有许多分支，比如（排名不分先后）随机微分方程、随机偏微分方程、倒向随机微分方程、随机微分几何、Malliavin变分、白噪声分析、狄氏型理论、遍历理论、数理金大偏差理论、交互粒子系统、测度值过程、概率不等式、泛函不等式、渗流、最有传输、SLE、随机矩阵、随机优化、随机控制、随机动力系统等众多概率论、随机分析及相关领域中的分支得到了快速的发展。
	
随机过程的迅猛发展是概率论学科乃至整个数学在20世纪取得的最大成就之一. Wiener过程、Guass过程、Марков过程、Lévy过程、鞅(martingales)等都是概率论学家最为熟悉的概念. 在这些过程的研究中, 有关独立随机变量序列的部分和的各种经典概率极限定理得到了广泛的应用和推广. 著名的结果包括Колмого́ров-Smirnov定理、Donsker弱不变原理和Skorohod强不变原理.

在数理统计中, 总体分布$F(x)$往往并不知道; 人们通常用经验分布$F_n(x)$做统计推断. 对每个固定的$x$, 经典的大数律和中心极限定理表明: $F_n(x)\to F(x),\mathrm{a.s.}$并且, $\sqrt{n}(F_n(x)-F(x))\stackrel{d}{\rightarrow}\mathcal{N}(0,F(x)(1-F(x)))$. 但逐点收敛并不能很好地描述概率分布$F(x)$的整体性质, 人们需要一致收敛性. Гливе́нко(Glivenko)-Cantelli定理证明了$\sup_x\abs{F_n(x)-F(x)}\to 0,\mathrm{a.s.}$; 进而, Колмого́ров和Smirnov给出了其渐进分布. 具体地说, $(F_n(x)-F(x),-\infty<x<\infty)$作为随机过程序列依分布收敛到Brown桥, 并且\begin{equation}
	\lim_{n\to\infty}P\left( \sup_{-\infty<x<\infty}\sqrt{n}(F_n(x)-F(x))>t \right) = \mathrm{e}^{-2t^2}
\end{equation}
和\begin{equation}
\lim_{n\to\infty}P\left( \sup_{-\infty<x<\infty}\sqrt{n}\abs{F_n(x)-F(x)}>t \right) = 2\sum_{k = 1}^{+\infty}(-1)^{k-1}\mathrm{e}^{-2k^2t^2}.
\end{equation}
	这些结果可以用来检验总体分布$F(x)$. 因此, 通常称$\sqrt{n}\abs{F_n(x)-F(x)}$为Колмого́ров-Smirnov检验统计量.
	
总所周知, 经典随机游走(随机徘徊)和随机过程有着简单且自然的联系. 假设$\{\xi_n;n\geqslant 1\}$是一列独立同分布的随机变量, $P(\xi_n=\pm 1) = 1/2$. 令$S_0 = 0$, $S_n = \sum_{j=1}^n\xi_j$, 那么$(S_0,S_1,S_2,\cdots)$构成一个随机过程. 事实上, 它是Марков过程、独立增量过程, 还是鞅. 它成为了研究随机过程各种性质的基本例子. 如果在时间-位置坐标系中描点, 便得到随机游走的轨迹. 如果限于前$n$个时刻, 那么获得$2^n$条不同的轨迹, 每条轨迹出现的概率均是$1/2^n$.  如果把相邻的点连起来, 便得到连续的轨迹. 定义部分和过程
\begin{equation}
	X_n(t) = \frac{1}{\sqrt{n}}\sum_{j = 1}^{\lfloor nt\rfloor}\xi_j + \frac{nt-\lfloor nt\rfloor}{\sqrt{n}}\xi_{\lfloor nt\rfloor+1},~0\leqslant t\leqslant 1.
\end{equation}
显然, 根据Feller-Lévy中心极限定理知道, 对每个$t$成立$X_n(t)\to \mathcal{N}(0,t)$. 进而, 作为随机过程来说, $(X_n(t),0\leqslant t\leqslant 1)$依分布收敛. 特别, Donsker证明了下列结果
\begin{equation}
	X_n\Rightarrow W,~n\to\infty,
\end{equation}
其中, $W = (W(t),0\leqslant t\leqslant 1)$为标准Wiener过程. 正如
中心极限那样, 这一结果不仅仅对简单随机游动成立, 而且可以推广到一般的随机变量序列, 并成为Donsker不变原理. 它的重要性体现在两方面:(1)证明了Brown运动的存在性; (2)结合依分布收敛的连续性, 得到了随机序列部分和产生的各种统计量的极限定理和渐进分布, 从而在数理统计、计量经济、金融数学等学科中有广泛应用.

上述Колмого́ров-Smirnov定理和Donsker不变原理成为了研究一般拓扑空间和距离空间上概率测度弱收敛的基本例子和主要动机. 根本样本轨迹的正则性和有界性, 可以把随机过程看成某个函数空间上的随机元(r.e.). 例如, 部分和过程可以看成$C([0,1])$上的随机元, 经验过程可以看作$D([0,1])$空间上的随机元. 前者赋有一致拓扑, 后者赋有Skorohod拓扑. 距离空间上的概率测度弱收敛定义如下:

假设$(S,\rho)$为距离空间, $P,P_n, n\geqslant 1$为$S$上的一列概率测度, 如果对每一有界连续函数$f$,
\begin{equation}
	\int_Sf(s)\mathrm{d}P_n\to\int_Sf(s)\mathrm{d}P,~(n\to\infty),
\end{equation}
那么称$P_n$弱收敛到$P$, 记作$P_n\Rightarrow P$. 这一概念是分布函数弱收敛的推广. 一个自然的问题是, 如何判别概率测度弱收敛呢? 通常分两步:(1)概率测度序列弱相对紧, (2)所有子序列的极限测度都相同. Prohorov定理对于验证概率测度序列弱相对紧起着重要作用. 假设$\Pi$是$S$上一族概率测度, 如果对任意$\varepsilon>0$, 存在一个紧子集$K$, 使得\begin{equation}
	\sup_{P\in\Pi}P(K^c)<\varepsilon,
\end{equation}
则称$\Pi$是一致胎紧的(uniformly tight). Prohorov定理给出概率测度族弱相对紧的充分条件: 如果$\Pi$是一致胎紧的, 那么$\Pi$是弱相对紧的. 其实, 在可分完备距离空间上, 弱相对紧的概率测度族是一致胎紧的. 该定理的兴趣在于: 它将概率测度族的弱收敛性和距离空间的紧致子集的刻画联系起来. 有了Prohorov定理, 不同距离空间上的概率测度弱收敛有着各具特色的判别法则.

自1960年以来, Hilbert空间值和Banach空间值随机变量的概率极限理论逐渐发展起来. 许多实数值随机变量的极限定理都被推广到Banach空间值随机变量的情形, 并获得新的结果. 特别有趣的结果是概率极限理论可以研究Banach空间的局部几何结构, 例如$p$-型和$q$-余型空间. 为了研究Banach空间值随机变量的概率极限定理, 人们建立了许多新型的概率不等式, 如Hoffman-Jörgensen不等式, Rosenthal矩不等式, Talagrand等周不等式. 这些不等式甚至对实值随机变量的研究都有巨大的帮助. 1991年, 由Ledoux和Talagrand编著的《Probability in Banach Spaces》总结了90年代以前的主要研究成果, 是Banach空间上概率论的经典著作.

1970年代, 匈牙利Major等学者利用Skorohod嵌入定理, 建立了与弱不变原理(56)相应的强不变原理: 假设$\{\xi_n;n\geqslant 1\}$是概率空间$(\Omega,\mathscr{F},P)$上的一列独立同分布的随机变量, $\mathrm{E}\xi_1= 0$, $\mathrm{E}\xi_1^2 = 1$. 记$S_n$是其部分和, 那么可以构造一个新的概率空间$(\tilde{\Omega},\tilde{\mathscr{F}},\tilde{P})$, 在其上存在一个Wiener过程$W$和一列独立同分布的随机变量序列$\{ \tilde{\xi}_n;n\geqslant 1 \}$,使得$\{\tilde{S}_n\}$和$\{S_n\}$同分布, 且\begin{equation}
	\lim_{n\to\infty}\frac{\abs{\tilde{S}_n-W(n)}}{\sqrt{n\ln\ln n}}\to 0 ,\mathrm{a.s.}
\end{equation}
随机过程的样本轨道性质的研究自1930年开始.Lévy在1937年首先讨论了Brown运动样本曲线的连续大小, 并证明\begin{equation}
	\limsup_{\delta\to 0}\sup_{0\leqslant t_2-t_1\leqslant \delta}\frac{W(t_2)-W(t_1)}{\sqrt{-2\delta\ln\delta}} = 1,\mathrm{a.s.},
\end{equation}
其中,$W = (W(t),t\geqslant 0)$是标准Brown运动. 该结果精确地刻画了Wiener过程样本曲线的不正则性. 后来, 有关Wiener过程和Guass过程样本曲线的连续模大小成为了一个当时的热门课题, 吸引了许多的概率论学者的关注. 特别, 以Csrögö和Révesz为代表的匈牙利学派在该领域做了大量工作, 完整且清晰地刻画了一大类Guass过程的样本曲线性质.

E、我国的概率论先驱——许宝騄

我们在这里介绍一下我国非常著名的概率统计学家——许宝騄先生.应当说,他是我们国家概率统计事业的奠基人.

\textbf{出身钱塘许氏}

许宝騄(1910—1970年)，字闲若，祖籍浙江杭州，1910年9月1日生于北京，因此小名京生。

许宝騄在中国开创了概率论、数理统计的教学与研究工作。在奈曼－皮尔逊理论、参数估计理论、多元分析、极限理论等方面取得卓越成就，是多元统计分析学科的开拓者之一。其研究成果推动了概率论与数理统计的发展。 至今“许方法”(多元分析统计学家谢菲H.Scheffe称之为“数学严密性的范本”)仍被认为是解决检验问题的最实用方法。

$\quad$许宝騄是20世纪最富创造性的统计学家之一，也正是许宝騄拉开了中国概率论与数理统计学科研究的帷幕，他被公认为在数理统计和概率论方面第一个具有国际声望的中国数学家。《中国大百科全书 数学》称赞说：“许宝騄是中国早期从事数理统计学和概率论研究并达到世界先进水平的一位杰出学者。” 1983年，德国施普林格出版社刊印了《许宝騄全集》(Pao-Lu Hsu Collected Papers)由斯普林格(Springer-Verlag)出版社刊印，全集是由钟开莱主编的，共收集了已发表的、未被发表的论文40篇。书评中有这样一句话：

“许宝騄被公认为在数理统计和概率论方面第一个具有国际声望的中国数学家”。

许宝騄的像片悬挂在斯坦福大学统计系的走廊上，与世界著名的统计学家并列。

$\quad$许宝騄是二十世纪和华罗庚、陈省身齐名的中国数学家，中央研究院第一届当选的5名数学所院士之一（注：另外四位首届数学院士是姜立夫、陈省身、华罗庚、苏步青）。当然由于各种原因的结果，他并不为国人所知。
	$\quad$许先生出身于杭州的名门望族。据许氏家谱记载，杭州许氏本姓沈，始祖是富阳的沈显荣，1536年他在北京经商病故，遗有两子由杭州的表姑夫许魁带回杭州抚养，改姓许，入籍杭州。其中尤以横河桥支系的“积厚轩”堂兴旺。 

$\quad$乾隆三年许家出了第一位举人许钺，之后钱塘许姓一族显宦至多，嘉庆、道光、同治间最盛。许氏十世祖许学范为乾隆三十七年（1772年）进士。许学范生得八个儿子，按照“学乃身之宝、儒以道得民”的行辈排下来，这八个儿子便被时人称人钱塘“八乃”，其中乃济、乃普、乃钊三子为进士，其余四子也皆中举人，皇帝给许家赐匾“七子登科”，意为许家府上出现过七位有才学的人。当时的学者、书法家梁同书曾写对联“世间数百年旧家，无非积德；天下第一件好事，还是读书”赠与许学范。

$\quad$到光绪二十九年，共出了34位贡生、举人，其中9人中进士。许氏共有140多人次出任清代的大小官员，除江西省没有外，分布全国各省，名震朝野。老杭州都知道以前文武官员路过横河桥时，“文官下轿，武官下马”。就是因为许家有许多大官。
	$\quad$许乃济（1777年—1839年），字叔舟，号青士，为嘉庆十四年（1814年）进士。选庶吉士，授编修。嘉庆二十五年（1825年）任山东道监察御史。道光三年（1823年）任兵科给事中。道光五年（1825年）任广东肇罗道，七年（1827年）改广东督粮道，道光九年（1829年）改高廉道。道光十三年（1833年）任光禄寺少卿，官至太常寺少卿。

$\quad$许乃普（1787年—1866年），字贞锡，号滇生嘉庆二十五年（1820年）殿试高居一甲第二名（榜眼），赐进士及第，授翰林院编修。官至吏部尚书。同治五年（1866年）卒，谥文恪。工书，法二王，与祁寯藻、陈孚恩、赵光并称四书家。许乃普子彭寿为道光二十七年（1847年）丁未科会元，殿试位列二甲第一名（传胪）。选翰林院庶吉士。散馆授编修。官至内阁学士。

$\quad$许乃赓为嘉庆二十二年（1817年）丁丑科二甲进士。改庶吉士，散馆授编修。历官右庶子。
	$\quad$许宝騄的曾祖许乃钊（1799年－1878年）行七，字贞恒，号信臣，又号恂普，为道光十五年（1835年）殿试二甲、朝考一等第十名，授编修。之后历任国史馆总纂官，河南、广东学政，内阁学士兼礼部侍郎衔，江南大营帮办。咸丰三年（1853年），出任江苏巡抚，镇压上海小刀会起义，次年因无功被革职。咸丰七年（1857年），以三品顶戴帮办江南军务，咸丰八年（1858年），迁光禄寺卿。咸丰十年（1860年），太平军破江南大营，攻克苏州、常州，再次被革职。不久引疾回乡。光绪四年（1878年）卒。

$\quad$许乃钊的子辈许祐身是许宝騄的祖父，累官至苏州知府。许宝騄父亲许引之从清朝末年至北洋政府时期一直担任中层官员，曾任清朝两浙盐运使。母亲程时嘉，江西新建人。
	$\quad$许家为官当中有两人与慈禧60大寿和死亡有关。

$\quad$许庚身（1825年－1893年），字星叔，号吉珊，崇尚天文、算术、舆地诸学。咸丰二年举人，考取内阁中书。同治元年，以在任官员的身份中进士，任内阁侍读。许庚身在军机处任职近三十年，曾参与策划对太平军和捻军的军事行动。同治十二年，任光禄寺卿。光绪五年，升任礼部侍郎，后分别任户部侍郎和刑部侍郎。中法战争爆发，许以刑部侍郎身份任军机大臣，兼总理各国事务衙门大臣，坚持以“驭夷无上策，可羁縻，不可迁就”的态度对待法国。十四年，升兵部尚书。

$\quad$许庚身曾奉命总办慈禧60大寿，但是在寿前去世，清廷晋赠太子太保，谥恭慎。
	$\quad$许宝蘅，光绪二十七年举人。他任军机章京时，记了许多日记，成为研究清末衰亡的重要史料。在光绪、慈禧死亡时，他记载了他忙碌的一天。早上五时，他至西苑门吉祥桥时，知道光绪于昨天酉时死了。进内宫后知道，昨天已颁发遗诏，传位于醇亲王之子，由摄政王监国。等到其他大官到场后，由他拟旨尊慈禧皇太后为太皇太后，皇后为皇太后。然后是拟各种皇太后的谕旨。不料，11点慈禧病危。又拟旨由摄政王面请皇太后掌管大事。下午2点，慈禧换衣，随即死亡。他在日记中说“十一时中两遘大丧，亘古所未有，所谓奇变。”就是说，在11个钟头里，皇室死了两人，真是前所未有的大变故，他说在写各种旨章时，“心震手颤，莫知所主”。可见当时朝廷的慌乱。 

$\quad$根据许宝蘅日记，在选择新皇帝的纪元年号时，最初拟出四个：宪昌、宪治、宣统、圣宪。一般按清惯例，应首选排在前面的“宪昌”，但不知何故，皇太后圈了“宣统”，在临抄写时，重新把“宣统”列在第一位。	

	$\quad$许祐身的孙子一辈也多为知名人士，宝字辈共有兄弟姐妹七人，其中许宝驹、许宝騄、许宝骙被称为“杭州许氏三杰”，许宝驯工于书画、昆曲，是著名学者俞平伯的夫人。一子许宝朴过世较早，但其子许儒鸿却承其世家之风，成就了一代文史兼攻的作家，他便是《慈禧全传》、《胡雪岩》等历史小说的作者、台湾著名作家——高阳。

$\quad$许宝驹（1898－1960），字昂若，北大国文系毕业，曾积极投身五四运动，历任中国国民党一大代表、国民革命军第十八军党代表、浙江省政府秘书长、铸币局局长、国民党中央执委等职。民盟创始人和领导人之一。1949年后，历任民革中央常委、全国人大代表和政协委员。

$\quad$许宝骙，1909年4月1日生于浙江杭州，1932年毕业于燕京大学哲学系，后在广州、北京多所大学任教。抗日战争爆发后，他积极追随中国共产党，投身于抗日救亡运动，是“中国民主革命同盟”的重要发起人之一。
	$\quad$1945年，许宝骙任《正报》主笔，参与“三民主义同志联合会”地下组织，并在争取北平和平解放的过程中开展了积极有效的工作。新中国成立后，许宝骙同志继续在北京任教，同时担任民革中央宣传部副部长、民革北京市委员会代理秘书长。译有穆勒《论自由》、培根《新工具》等。

$\quad$七子登科的同时，还有五凤齐飞入翰林，许佑申的姐姐嫁给了礼部尚书廖寿恒，妹妹嫁给了晚清直隶总督陈夔龙。

$\quad$通过联姻，钱塘许家有许多社会名流姻亲，其中包括俞樾。俞平伯的高祖俞樾(1821-1907)是清朝大学者，浙江德清人，道光进士，官翰林院编修，著有《春在堂全书》二百五十卷。俞樾的二女儿俞绣孙嫁到许家，成了许宝騄的祖母(祖父许佑申)，许宝騄的父亲是许引之。许宝騄的一位姑姑是俞樾的孙媳妇，也是俞平伯的母亲。许宝騄的长姊许宝驯工书善画，并善于昆曲，1917年嫁给了著名学者俞平伯。许、俞两家乃故家故亲。许宝騄在家排行第七。许俞两家是亲上加亲，按现代优生学的观点来看，是不符合优生学原理的，值得庆幸的是在两家后代中并没有发生不幸，其后代皆学有所成。

	\textbf{天赋异禀}

$\quad$许宝騄的父亲许引之一生仕宦于晚清、民国，因此幼年的许宝騄随父母出生、成长于宦所。2岁时随家移居天津，八岁时去杭州。1924年，许宝騄十四岁时，父亲病逝于杭州，母亲携全家迁回天津，第二年，移居北京。

$\quad$许宝騄从小体质就比较羼弱，而其慧敏之秉赋已隐然可见。从5岁开始，许引之就请来家庭教师教授许宝騄在家读书，第一位启蒙师为张　树之先生；后改从吴县高德馨（字远香）先生、蕲春陈先生，一直到他十四岁止。期间，许宝騄通读四书五经，涉猎四史及古文辞，大都能琅琅背诵。10岁后许宝騄就学作文言文，因此他的文学修养很深，用语、写作都很精练、准确，塾师评为“简老”。11岁时许宝騄写过以《花生姻缘》和《神花》为题的文言小说。

$\quad$许宝騄学写小楷后，临摹《玉板十三行》，古朴神似。后来为姐夫俞平伯手写的《古槐书屋词》，有刻本行世。又善就古书诗曲小说制作灯谜，颇具巧思。他善于巧妙地利用古文诗词制作灯谜。
	$\quad$十一岁时，许宝騄开始学英文、算术，塾师为杭县邵家驹（字昂士）先生，两年后便能阅读英文的古典文学名著。

$\quad$	许宝騄在幼年之时就已经在数理方面显露出异于常人的天赋。

$\quad$许宝騄在孩提时就能拼摆“益智图”。到北京后，为了能够考取中学，需要从头开始系统补学新式数学知识，为此专门聘请北京大学数学系吴缉熙老师讲授代数及三角，从头起步，仅仅花了连个月的时间就已经成绩斐然，由此也让许宝騄对数学引起极大的兴趣，其数学天才开始崭然显露。

$\quad$1925年暑期后，许宝騄顺利考入北京汇文中学高中一年级。高中学习期间，许宝騄利用暑假时间跟着表姐夫徐传元先生（字孟轮，毕业于美国麻省理工学院）钻研数学，得其指点，进步神速。还坚持学习法文，两年后他的法文达到能会话和作短文的程度。
	$\quad$清康熙二十九年，褚稼轩《坚瓠集》中载有“移棋相间法”，最初始于清顺治六七年。清末，经学大师俞樾和夫人在闲暇十之时，也做移棋之试，曾推至二十棋子，并作诗记载此事，诗云：

闲将棋子试推移，黑白分明亦一奇。此后空留遗法在，更谁灯下运灵棋。

(注)：褚稼轩《坚瓠集》有移棋相间法，以黑白三子，三移而黑白相间，自三子至十子皆然内人复推广之，自十一子至二十子，今存其法于《春在堂随笔》。

$\quad$许宝騄在中学读书的时候和俞樾的曾孙俞平伯根据《春在堂随笔》记载，又设法查找《坚瓠集》，知道了最初之法，他们就研究推增至五十子。以后并非不能再推加，因过于繁琐而止。一年后，许宝騄以研究所得移棋相间“合四为一”的新律相告，俞平伯先生有一段文字记此事，文曰：

$\quad$已已新正二日之夜，忽以电话觅谈，适余外出，越曰访之，乃以合四为一之新律相告，其法简而整，其言明且清，虽其根柢不出四律，而去其繁冗，正其谬误，使人一览豁然贯通，于应用上方便至多，……依新律，则口耳授受一分钟可毕，真庶乎儿童不乱矣。
	$\quad$清初以来的“移棋相间法”，本是一种有数学性质的游戏，许宝騄与俞平伯先是推至五十棋子，以后又总结出四条规律，本来还想成一公式，后来许宝騄因为赴英国留学，科学研究任务繁重，对少年时代的游戏也就无暇再问了。

$\quad$1928年，汇文中学毕业后的许宝騄考入燕京大学理学院学习化学。当时考大学是各校单独命题考试招生，许宝騄当时报考的是燕京大学和清华大学。按许宝騄当时的水平和成绩考入清华大学是没有问题的。不过因为许宝騄文笔快捷，思想敏锐，当时，有不少认识他的人问他题目怎样做，他帮助别人做题而耽误了自己，因而清华大学没有录取，而被燕京大学录取了。

$\quad$许宝騄在中学期间因为受表姐夫徐传元的影响，对数学颇有兴趣，入大学后了解到清华大学数学系最好，决心转学念数学。由于出众的才能，1929年就转入清华大学数学系继续深造，仍从一年级读起，一起学习的有华罗庚、柯召等人。
	$\quad$著名数学家、国际数学界最高荣誉“菲尔兹奖”获得者丘成桐坦言，从1927年到1949年清华数学系是全国最好的数学系。当时清华可算中国数学的一个学术中心，学校当时请了两个著名的外国教授，其中之一便是维纳，清华面向全国办数学培训班，培养了一批教员。

$\quad$当时清华的教授有杨武之、熊庆来等。杨武之就是杨振宁的父亲，他是一位家教很严的父亲，有时甚至杖责儿子，听说一度因此而使父子关系紧张。

$\quad$杨武之教授自认学术声望不算高，当时，杨武之公开承认自己的数学成就、解题能力不及他的学生，但他认为解不出难题的教授也可以培养出杰出的学生，因为老师知道哪些题难，哪些题重要，可以布置给学生去想。许宝騄等数学家也许正得益于在清华的这些训练，据华罗庚后来回忆，当时他们一个班有约40人，这门课老师出了几道难题，他（华罗庚）就上图书馆查题鉴、查参考书，向助教请教，每天晚上开夜车，匆匆忙忙完成才发现当天就要交作业了，每次都以为只有他一人按期交作业并得全分，但发下来的，才发现每次都是四个人，另外三人就是陈省身、许宝騄、柯召。
	$\quad$许宝騄在清华读书，成绩十分优秀，熊庆来，杨武之等对于他的才华十分看重，杨武之曾作诗书赠先生，首句即为：“许公宝騄，颇有天才”。

$\quad$许宝騄除了数学特别出色之外，兴趣爱好十分广泛。许宝騄受家庭熏陶，爱好昆曲，工昆旦兼习小生，会拉二胡，精善音律。每听一曲，不出几遍就能写出谱子，表现出良好的艺术才能。30年代，许宝騄与姐夫俞平伯共组清华谷音社。解放后，在教学科研之余，经常参加老君堂俞宅昆曲清唱和北京昆曲研习社活动。

$\quad$许宝騄还是桥牌高手，当时西方的桥牌刚刚传入清华，所以很多人对打桥牌这种娱乐形式很感兴趣。许宝騄更是利用业余时间钻研桥牌方面的书籍，以至于精通桥牌，牌艺出众，在西南联大任教时曾参加清华的校队，经常参加比赛，还常和朱自清、浦江清、俞平伯在俞家打桥牌。

	\textbf{双博士}

$\quad$许宝騄幼年体质就非常虚弱，以至于对他后来的工作生活造成了很大的影响。在清华读书时时，体重还不到40公斤，并且患旅游肺病和胃病，肺病需要加强营养，但因为同时有胃病，营养得不到吸收。许先生体育成绩大概不及格。当时可用庚子赔款去英国留学，许宝騄所在的清华大学每年有一名额，这当然是非许宝騄、华罗庚莫属。

$\quad$1933年，许宝騄于清华大学毕业获理学士学位，经考试录取赴英留学，体检时发现体重太轻不合格，未能成行。
在这种情况下，许宝騄到香山疗养过一段时间，当时住在香山脚下的一所房子里，期间注意营养，加强锻练，使身体状况大为好转。

$\quad$1934年许宝騄进入北京大学数学系担任正在访问北京大学的美国哈佛大学教授奥斯古德的助教，前后共两年。奥斯古德是分析方面的专家，在他后来出版的书中，提到了许宝騄的帮助。在这两年内许宝騄做了大量的分析方面的习题，并进行了一些研究，于1935年发表了两篇分析方面的论文，其中一篇是与江泽涵合作的。那时芬布尔和阿蒂肯合写的《标准矩阵论》已出版，许宝騄熟练地掌握了矩阵的工具，尤其精通分块演算的技巧。所以这两年内他在分析和代数两方面都打下了扎实的基础。
	$\quad$1936年许宝騄再次考取了赴英留学，派往伦敦大学学院，在统计系学习数理统计，攻读博士学位。

$\quad$上世纪三十年代，统计学，特别是各种专业统计，例如生物统计、医药统计、农业统计、工业统计首先在英国迅速发展，得到广泛的应用。许宝騄在英国伦敦大学学院攻读博士学位期间，师从著名统计学家Neyman。此后的几年间，他在统计推断和多元分析等方面做了一系列理论性开创性工作，把许多数学中的分支，如矩阵论、函数论、测度论等引进统计学，使统计学中的许多问题的理论基础更加深厚，逐渐形成了统计学中的一个主流方面——数理统计。在新中国成立后的相当长的一段时间里，在研究机构和一些大学里，统计学往往被称之为数理统计。其实把数理统计视为统计学的一个主要分支似乎更妥当些，可以说，许先生是数理统计这一方向的奠基人之一。

	$\quad$1936年到1940年，伦敦大学学院统计系正处于鼎盛时期，是公认的数理统计研究中心。该系名家汇聚，皮尔逊退休后，由费歇任高尔顿实验室主任，皮尔逊当系主任。一些学者陆续前来访问，包括美国的多元分析专家霍太林，威尔克斯，频率曲线专家克莱格，概率专家费勒。教师中有内曼这样的教授，所以许宝騄很快就接触到数理统计方面科学前沿的情况。自30年代到40年代，正是N．P．理论（内曼－皮尔逊理论）的形成时期。对于点估计和假设检验，首次提出优良性的概念，明确地提出了应该寻求优良的方法，而优良性有客观的标准。

$\quad$1938年许宝騄导出了霍太林提出的T2检验在一定意义下是局部最优的，主要的困难是在零假设不成立时，如何导出T2的分布，通常称为非零分布，有了非零分布才能讨论功效函数的大小。他的这一工作在N.P.理论和多元统计分析中都是占有重要地位的先驱性工作。

$\quad$内曼(Neyman)是著名统计学大师，在其一生中，与许宝騄相遇两次。1936-1938年，在英国大学学院时，内曼是许的老师。他后来称许是他最好的学生。1945-1947年，许先生去美国时，他们又相遇了。
	$\quad$内曼在纪念许宝騄的文章中写了如下的这一段话来论述这篇论文的意义： 

$\quad$“这篇文章开创了两个发展方向。一方面，他的学生席玛卡将许的方法用于多元问题（霍太林的T2及多元相关系数）……。另一方面，在这篇文章中，许提供了获得全部相似检验的新方法。在许的建议下，席玛卡和莱曼将这个方法用于其他问题，后来莱曼和谢飞形成了完备性的概念。” 

$\quad$这足以说明许宝騄在这一方面的工作对后来的研究有多大的影响。

$\quad$1938年许宝騄共发表了3篇论文。当时伦敦大学规定数理统计方向要取得哲学博士的学位，必需寻找一个新的统计量，编制一张统计量的临界值表，而许宝騄因成绩优异，研究工作突出，第一个被破格用统计实习的口试来代替。1938年他获得了哲学博士学位。
	$\quad$同年，系主任内曼受聘去美国加州大学伯克利分校，他推荐将许宝騄提升为讲师，接替他在伦敦大学讲课。1939年，许宝騄又发表了两篇论文，1940年又发表了3篇。其中两篇文章是数理统计学科的重要文献，在多元统计分析和内曼－皮尔逊理论中是奠基性的工作，因此他获得了科学博士的学位。

$\quad$许宝騄在30年代做的论文，被一些人士认为他可能是继费歇（Fisher）之后执掌统计大旗的人，但是以为身体很差的缘故，学术工作不能不受到一些影响。所以，后来成就就稍逊于皮尔逊(Pearson)和内曼(Neyman)，但不可否认许宝騄是世界第一流的统计学家。

	\textbf{执教西南联合大学}

$\quad$1940年，抗日战争处于最艰难的时候，在英国伦敦大学学院获得双博士学位后的许宝騄，放弃优越的学术环境和生活条件，毅然回国效劳，受聘为北京大学教授，于1940年到昆明，在西南联合大学任教。

$\quad$当时昆明的工作条件和生活待遇极端艰苦，单身耽在昆明的许宝騄在那段时期的生活是十分艰苦俭朴的。他住一间宿舍，既是卧室又是书房，除了书桌、床铺和一块大黑板外，别无其它大型家具。在这种艰难的环境下，许宝騄喜欢穿一件风雨衣出外散步，在校园附近漫步时学生们常能看到他的儒雅风度。

$\quad$战争年代生活是十分困难的，1943年-1944年许宝騄给Neymann的信中曾提到过挨饿之事，但他仍然坚持研究。
	$\quad$当时的西南联大图书资讯极端贫乏，连教材都少有，学生听课主要靠 记笔记。许宝騄学习非常勤奋、刻苦，因为资料贫乏，以至于想找一本书都困难,他曾手抄过梯其马舍的整本《函数论》,他念过的书, 往往都写了不少批注,有的书都被他翻得成零页了。

$\quad$在1941年到1945年抗日战争胜利，许宝騄在“Biometrika”、“J. London Math. ”、“Ann. Math. Statist。”……等许多国际权威性刊物上发表了十多篇有关数理统计等方面的开创性文章，成为国际上数理统计这一方向的奠基人之一。他曾经说过，我们在某杂志上发文章，不是借该杂志来标榜我们的学术水平，应该让我们在该杂志发表了文章来抬升此杂志的地位。先生这样说了，也确实这样做了。

$\quad$在西南联大期间，许宝騄对Neyman-Pearson理论作出了重要的贡献，他得到了一些重要的非中心分布，论证了F检验在上述理论中的优良性，这些都是奠基性的工作；同时他对多元统计分析中的精确分布和极限分布得到了重要的结果，导出正态分布样本协方差矩阵特征根的联合分布和极限分布，这些结果是多元分析中的基石。以上这两方面的工作确立了他在数理统计中的国际上的地位。　
	$\quad$此外许宝騄在寻求统计量的极限分布，在次序统计量的极限律型方面，都有重要的贡献。
西南联大时代，许宝騄开设微分几何课程。

$\quad$当年在西南联大简陋的教室讲课，往往无法听到上下课的摇铃声，而他又没有手表，于是每次上课时他就将装有一只闹钟的布袋放在讲台上。当上课的学生们第一次忽然听到讲台上布袋里铃声大作，而许先生又笑着说了一声“下课了”时，大家真是惊喜交加。

$\quad$许宝騄备课极为认真，讲授条理清晰，擅长于在课堂上强调一些细微之处。更因其出生于书香门第，自幼受过很好的文学熏陶，所以他善于运用形象思维的语言来解释现代数学基本概念产生的必然性。 

$\quad$他对学生说微分几何不过是微积分的一种应用而已，而主要工具是泰勒级数展开，再用一点儿初级代数计算。这些话对学生产生了很大影响。许宝騄在教学中特别强调“直观地理解数学”的重要性，他主张要把数学定理及其证明的“原始思想”告知学生，总是殷切地期望学生能直观地领悟数学命题的来龙去脉。在分析问题时，他强调要有一种“内视”能力，认为“数学中的抽象能力很重要，一些问题经过抽象后，不仅简明而且其实质也清楚了”。
	$\quad$他循循善诱，对学生的指导具体而细致，对学生的读书笔记逐字逐句地修改，甚至错别字和标点也要改正。他批改作业，不但指出正误，而且给出更好的解法。

$\quad$宝騄对做一名好教师有独到见解:“要做一个好老师，必须自己有相当的功底，才能讲好。应该做到以十当一，自己会十，但讲出来的是一。”他说道:“教师在台上讲课，就像举重运动员，应该举重若轻，很重的东西，一下就举起来了，让人看了感到舒服；而不应该是举轻若重，一份很轻的分量，举也举不起，两腿发抖，让人感到难受。”

$\quad$正是许宝騄这种精辟的教学思想，深深地影响了学生。他们中一些人已经成为今日的数学栋梁，如钟开莱、冷生明、王寿仁、徐利治和张尧庭等，以及美国的比乌曼(I.Biumen)、布拉迪(R.Bradiey)、罗宾斯(H.Robbins)、鲍克(A.Bowker)、莱曼(E.Lehmann)和奥利金(I.Olikin)等。
	$\quad$徐利治曾说，他从许宝騄身上学到了“不怕计算”和“乐于计算”的习惯，十分乐于从计算中发现规律和提炼一般性公式。许宝騄的教学风格也给教堂山的美国学生留下了深刻印象。比乌曼写道:“许坚持深入浅出，毫不回避困难，特别是深沉、明确而默默地投身于学术的最高目标和水准，这些精神吸引了我们。”布拉迪说:“许堪称后辈的典范。”罗宾斯回忆道:“许是令人难忘的，无以伦比的。” 

$\quad$在这一时期，许宝騄受群众的影响，加入了一个政治团体——中国民主革命同盟，它是受中国共产党影响的。

	\textbf{赴美讲学}

$\quad$许宝騄的老师内曼和小皮尔逊在1933年发表了关于假设检验的论文,把检验问题作为一个数学最优化问题来处理，发展了费希尔的研究工作。由于费希尔对皮尔逊有成见,因而对内曼和小皮尔逊的研究也不以为然,甚至称其编辑的《统计学研究通报》是“一堆破烂货”。这也使得内曼感到在英国难以发展,于1938年4月应聘为美国加州伯克利大学数学系教授,并筹建了统计实验室。

$\quad$1944年的英国正在遭受着德国的轰炸。希特勒亮出了讹诈已久的“秘密武器”——无人火箭。正是在这种情况下，内曼决定回到英国为国效力。但在离开伯克利大学数学系之前找一个适当的接班人是内曼所面临的问题。耐曼始终认为，在战争时期坚持教育质量是非常重要的，美国显然已没有多余的老资格统计学家。二战时期，美国人才紧缺，内曼培养的学生，一个个地被军方调走。在考虑接班人时，想到了他的学生许宝騄。内曼非常器重许宝騄,认为许宝騄是新一代数理统计学家中的佼佼者,一度选定其为接班人。
	$\quad$1943年，内曼收到过许宝騄一篇论文的抽印本。中国的形势一片混乱，天下三分，其一在日本人的统治下，其二由共产主义者领导，第三部分属于民族主义者。许宝騄在某处一个地窖里从事科学研究。他的工作居然能够印出来，简直是个奇迹。他渴望到美国来。

$\quad$内曼第一脚踏上赴英的旅程，就给许宝騄发了一份电报，邀请他到伯克利来讲六个月课，并在来年担任一个收入有保证的职务。

$\quad$由于内曼的邀请，许宝騄于1945年八月在北京大学留职停薪，在当年欧战结束之后，赴美参加了伯克利(Berkeley)第一届概率统计的学术交流会。当时，赴美路费是内曼从44年开始设法筹措的。

$\quad$会后，许宝騄在加州大学伯克利分校教了一个学期。在伯克利任教期间，加州大学主要教员有两位，一位是内曼，另一位就是许宝騄。
	$\quad$内曼因有许宝騄这样才华出众的数理统计学家在伯克利而感到高兴。因此，当他看到许宝騄在一张表中仅仅被称为统计学讲师后，便对这个“令人不快的错误”向校方提出了抗议。

$\quad$他说：“有人也许会说在一张表格中怎麽称呼关系不大，但是既然写上了头衔就有其目的，否则写它做什麽。对许宝騄来说，在这样的失误中所受到的损害比美国人更多。作为一个中国学者，两所美国的重要大学邀请他来当访问教授，这是一种很高的荣誉。事实上，要是那张表能真实的反映他的工作，那就好了，那样一份东西留在他家中，子孙后代看了也会感到自豪的。”

$\quad$一学期之后，许宝騄又到哥伦比亚大学教了一个学期。当时美国名大学争相邀请许先生去任教，内曼希望许宝騄继续回到伯克利。但最后，许许宝騄决定在哥伦比亚大学的教学工作结束后跟着郝泰林（Hotelling）到北卡罗来纳大学去筹建统计系。
	$\quad$许宝騄在郝泰林创办的北卡罗来纳大学的新统计系教了一年。因为统计这个领域正在发展，很缺乏像许这样有成就的学者，他在这三个学校都很有建树。他被选为IMS (Institute of Mathematical Statistics)的委员，这是1946年的事。

$\quad$许宝騄在伦敦大学学院攻读学位时，熟读了克拉美的《随机变量与概率分布》(1937年出版)掌握了特征函数的工具，所以他对极限理论很有兴趣。1947年他与Ｈ．罗宾斯合写的论文《全收敛和大数定律》，第一次引入全收敛的概念。当时国际上在概率方面主要的兴趣是独立随机变量之和的极限分布，正在从古典的向近代结果转化。一些著名的概率论专家如科尔莫哥罗夫，辛钦，格涅坚科，莱维和费勒等人都在攻这难题。1947年，许宝騄已获得了主要的结果：每行独立的无限小随机变量三角阵列的行和，依分布收敛到一给定的无穷可分律的充分必要条件。由于当时信息不通，他不知道别人的工作情况，当时他写信给钟开莱时说：“……我担心正在进行的工作会和别人相重……”
	$\quad$后来，他知道了格涅坚科和科尔莫哥罗夫的工作，就没有再发表自己的研究。实际上许的方法和俄国人还是不同的，许的方法更为直接。1968年，当格涅坚科和科尔莫哥罗夫合写的《独立随机变量之和的极限分布》英译本再版时，钟开莱用附录的方式第一次刊印了许宝騄的工作。然而许在生前并未看到这本书，他始终没有看到自己的这一部分工作的公开发表。

$\quad$1947年，许宝騄谢绝了一些大学的聘任，回到北京大学任教授。当许宝騄回国时,内曼一再挽留,想把他争回自己的麾下。回国后,许宝騄也与奈曼保持了多年的联系。许宝騄对科学所做的贡献以及孜孜以求的好学精神,是与内曼的教诲和影响分不开的。

$\quad$1948年，许宝騄当选为中央研究院院士。回国后不久，许宝騄就发现已患肺结核。此后他长期带病工作，教学科研一直未断，在矩阵论，概率论和数理统计方面颇有建树。

	\textbf{执教北京大学数学系}

$\quad$许宝騄在北卡罗莱纳大学开创了统计系之后，于47年底回北大数学系任教。

$\quad$许宝騄回国可能也为了结婚，但由于种种原因，他终身未婚。关于他的个人婚姻事宜，有各种说法，俞平伯的儿子俞润民的说法可以认为是可靠的。俞润民先生有一姑父郭则澐，是清朝翰林，曾在北洋政府徐世昌处任秘书长。郭有一女儿，与许先生年龄相仿。按中国旧的传统来说，许郭辈份不合，许宝騄比这位郭女士长一辈。郭则澐认为虽然辈份不合，但郭先生与许宝騄先生的父亲在北洋政府时期是同事，作为儿女之事也是合适的。所以郭先生还是赞同这桩婚事。据推算，1936年许宝騄留英以前，两人已有恋爱关系而往来，后来之所以没有成，是郭先生的儿子(郭女士的弟弟)反对这桩婚姻，欲将他的姐姐嫁给国民党的一个官吏。后来，郭女士嫁给了一个铁路局长。这样，许先生的婚事就告吹了。这件事情发生在抗战时期(40-45)，许郭之间相处的时间不长。

	$\quad$外面传说，许先生因肺结核未能成婚，这不符合事实，只是对外的一种托辞。另据俞润民回忆，许宝騄在美国时，曾有一女士有意于他，这一次是自由恋爱。据润民回忆，许宝騄给俞平伯先生的信中提到他采取的策略是“以退为进”，现在已搞不清楚以退为进的具体含义。从现在恋爱方式来看，应是双方主动。不久发现身染肺疾，乃复废约。此后终身未娶。

$\quad$许宝騄因为学与统计学的诸多领域成果丰硕，造诣精深。1948年，当我国中央研究院首批评选院士时，三十八岁的许宝騄就高票当选。

$\quad$在1948年辽沈战役后，许宝騄已确信“国民党败局已定”，他很欢欣1949年我国的解放，还拍电报给美国的同事表达他对中国新生的喜悦之情。

$\quad$从1947年至1956年，许宝騄一直在北京大学数学系执教。开设一些国内一般大学不开的课程，像“实变函数论”等，并积极开展多元统计和矩阵论方面的研究，特别是关于矩阵方面所获得的结果，就是基础数学家，也为之赞叹，此乃上上之作。

	$\quad$中共建政初期，不认为概率统计是重要的，他在矩阵论方面的工作，刊登了几篇论文在中国的数学杂志上，发表的论文还有与特征函数有关的内容。1954年，中国科学家代表团访问苏联，柯尔莫果洛夫(Kolmogorov)教授问到了许。人们开始认识到许的国际地位。1955年，他成为中国政治协商会的一名委员。同年他与其他著名的数学家，如华罗庚、苏步青等一起被选为中国科学院学部委员。

$\quad$1956年，周恩来总理主持制定了“全国科学发展12年远景规划”。规划中把概率论与数理统计作为数学的三大重点发展方向之一。为了落实这一规划，大力发展我国概率论与数理统计，许宝騄殚思极虑，费尽心力，采取了当时条件所能做到的一切措施。

	$\quad$1956年秋，中科院数学研究所的王寿仁先生，张里千先生，中山大学的郑曾国先生、梁之舜先生被借调到北京大学任教。与此同时，从北京大学数学力学系抽出34名四年级学生，从中山大学和南开大学各抽调10名四年级学生来北京大学培养，此外北京大学还接收全国各主要综合大学的概率统计方面的教师来进修。许宝騄亲自主持“独立随机变量族的极限理论”的讨论班，系统地学习了“测度论”、“概率极限理论”、“马尔可夫链”、“数理统计”等课程。这是我国第一批培养的数量可观的概率论与数理统计人才。自此以后，全国各综合性大学绝大多数都设有概率论与数理统计教研室。

$\quad$1958年以后，先生主持着三个讨论班：数理统计、马尔可夫过程、平稳过程。参加讨论班的人员，不仅有北京大学概率论与数理统计教研室的师生，还有校外的一些人士。

	$\quad$在1956年第一批大规模培养概率论与数理统计人才的实践基础上，许宝騄逐步确定了本专业的必学的基本课程：测度论；概率极限理论（后改称分析概率论）；随机过程论；数理统计。根据本专业的不同研究方面，可在下列诸课程中选择一两门：马尔可夫过程，平稳过程，博奕论，排队论，统计试验设计，抽样论……等等。

$\quad$1956年以前，北京大学数学力学系仅开设一门概率论课程，教材是苏联Gnedenko所著“概率论教程”（丁寿田译）。此书作教学参考书可以，完全作教材并不太合适。许先生建议搞教材建设，一是引进，翻译国外一批优秀著作当教学参考书，二是组织力量自己写书。

$\quad$遗憾的是，由于“文革”前以阶级斗争为纲，这些著译计划，在许宝騄有生之年以前，绝大部分没有完成，有的仅出了一半就夭折了，有的还在酝酿中，等到“文革”后，才出版了一部分。

	$\quad$“文革”前，我国与西方并无学术交流，许宝騄计划在1957和1958两年聘请苏联和东欧的一些著名学者来华讲学。计有：苏联的Denkin教授，Prokhorov教授，波兰的Fisz教授和Urbanik教授。结果，1957年Fisz来北京大学讲了多元分析和抽样论等专题；Urbanik来北京大学讲了广义随机过程；Denkin于1958年来北京大学讲了马尔可夫过程的几个前沿课题。由于当时反右和大跃进运动，基本上没有取得什么效果。

$\quad$49年以后，国内教学方面的杂志，除了少数几所大学的学报以外，就只有“中国科学”、“科学纪录”、“数学学报”和“数学进展”这几种主要杂志。年青人的文章很难有发表的机会。有鉴于此，许宝騄极力主张创办概率统计杂志。还说，如经费不够，可从我的积蓄中资助。无奈那时对出版物的控制很严，就连与政治相隔甚远的杂志也不易获得创刊。

	\textbf{无言的结局}

$\quad$从1956到1959年，在许宝騄的领导下，不变原理 (Prokholov，Donsker的论文)、多元分析(Anderson的书)和随机过程(Doob的书)是他所主持的讨论班讨论的主题。他要求他的学生在讨论班上主讲，在他们讲完后，他再用他特有的简洁的方法给以总结。从1959到1962年，试验设计、抽样调查(cochran书)都是研究的主题。在他领导下，这一阶段做过林业的调查。从1963到1966年，主题是次序统计量、平稳时间序列(Grenander和Rosenblatt的书)，马尔可夫过程以及组合数学。

$\quad$从 1955年起，许宝騄身体非常虚弱。他于1933年开始患肺结核，后来终身未娶，过单身生活。他约有174公分身高，但体重只有43.2公斤。到了六十年代，那时他已因身体条件不能在课堂上讲授概率论。而后的岁月，他只能在家中坐在沙发上对讨论班的研究集体讲课。

	$\quad$当1966年5月文化大革命冲击来临后，所有的教学活动都停止了，他和学校中其他的同事都遭受到折磨。

$\quad$从北京大学办公楼往东南行约五六百米，柳林深处坐落着几栋小平房，有的形似老北京的四合院，有的由门字形的三排平房组成，这就是鲜为人知的佟府。

$\quad$许宝騄从上世纪五十年代初到1970年他去世，就一直住在佟府丙八号。这是一所两廊四间的小平房。一进门是一个临时封闭起来的托檐，不到四平方米，用作厨房。由此前进，是一条由北向南的走廊，尽头是一间贮藏室，东西两侧各有两居室。西侧较大，住着张景昭老师一家，东侧两间较小，进门一间大的，也只有十三四平方米，算作是许宝騄的客厅，里面的套间就是卧室和卫生间了。客厅其实是一个多功能厅。厅内东面墙上，挂着一块黑板，北面放着两个齐屋顶高的书架和一把双人沙发，西南各放置一把单人沙发，中间是一张一米见方的矮桌，厅内还放着几张小凳和几个竹壳热水瓶。许宝騄主持教研室的讨论班时，这个客厅就是教室；教研室要政治学习或讨论问题时，它变成了小会议室；查阅资料时，它变成了图书馆；用餐时，它又变成了餐厅；只有外客来访或学生向先生问问题，这间小屋才恢复原来的角色——客厅。

	$\quad$许宝騄饮食非常简单，一天三小瓶牛奶，早中晚各一瓶，中餐和晚餐也只有两三碟小菜，由于先生不仅患过肺病，还有胃病，食量很小。张景昭老师曾在西南联大数学系就读，许先生当时是西南联大教授，所以张也可算许先生的学生，为了照顾许先生，她与许宝騄合请一个保姆料理家务，并经常陪先生一起进餐。由于房子小，保姆只能早来晚归。

$\quad$许宝騄绝大部分时间在卧室工作。靠坐在床上，在一块一尺见方的薄板上把稿纸展开，撰写论文和讲稿。由于睡眠情况不好，黎明前就开始工作，晚上无人照顾，饿了就用一块巧克力和一杯热开水充饥，“三年困难期间”，巧克力也随之困难掉了。累了就听听收音机，然后再睡一会。卧室中总是放着一台“熊猫牌”收音机，这是了解时事和休闲的主要工具。

	$\quad$上世纪五十年代，许宝騄寒暑假还到北京城内的宾馆疗养一两个星期，六十年代以后，几乎是足不出户。自患肺病后，身体一直瘦弱，无论春、秋、冬，在室内总是穿着长衫和毛裤，只有外客来访，才着正装。

$\quad$没有多少人知道，住在这样简朴的居室，过着如此清贫的生活，忍着如此的孤寂，竟然是为我国科学事业辛勤耕耘一生的一代学术宗师许宝騄先生。

$\quad$文化大革命中许宝騄并未中断研究，当时看不到任何杂志，直到1970年，才允许他看杂志，那时他已瘫痪。在两个月内，他翻阅了1966年“文化大革命”以后的全部《数理统计纪事》，了解国际上的学术动态，写下了最后一篇关于BIB与编码的论文，并将这篇文章的手稿托付给段学复教授。

	$\quad$1970年12月18日许宝騄去世。临终时，在他枕边搁着一枝他用了数十年的派克笔，从床头到地板散落着一大堆演算的草稿。这些遗物，见证了先生临终前一刻还在继续着他终生的事业，还在思考和探索广阔无垠的科学世界。

$\quad$去世时，身边无一亲朋好友。一代宗师，竟这样走完他的人生之旅。虽然他患过肺结核和胃病，但这些均非不治之症，更何况50年代末已治癒。若不是那场“史无前例”的运动，先生何至英年早逝，六十而亡。一位终身独居，为国家的科教事业而呕心沥血的爱国者，一位享誉国内外的学术泰斗，仍难逃此劫难，实为我们国家的不幸，民族的不幸。

$\quad$如今的佟府丙八号，早已是人去房毁，若仅是人去房空，还可以去那里凭吊先生，现在，只能把崇敬和谢恩之情永铭心间。

	$\quad$许的确是中国统计学家的先驱，他开创了这条道路。他被公认为在概率统计领域具有国际地位的首位数学家(见Springer-Verlag出版社1983年刊印的许宝騄全集)。许宝騄的像片悬挂在斯坦福大学统计系的走廊上，与世界著名的统计学家并列。

$\quad$奈曼认为，许绝对地是与阿伯拉罕、瓦尔特 (AbrahamWald)具有同一水平的人，他们是他下一代中两个杰出的数理统计学家(见Reid书奈曼传)。瓦尔特是在1950年到印度旅游演讲后死于飞机失事，才48岁。许死时60岁。不幸的是许在1950年后未能发表更多的卓越的论文，但他确实给中国统计的发展打下了坚实的基础。

$\quad$80年代中期，在旅美华裔统计学家郑清水的协助下，曾由德国Springer出版社委托钟主编出版了英文版的《许宝騄选集》。无疑，这是对世界统计数学文库的重要贡献。后来又在钟开莱、郑清水、徐利治联名倡议下，创立了“许宝騄概率统计数学奖”，并且发布了一次奖。但终于由于基金匮乏和人力不济等原因，未能使这项具有深远意义的数学奖顺利地继续运作下去。 

	$\quad$他不仅自己在多元分析方面有很多开创性的工作，他还培养了像安德森、奥肯等国际上多元分析学术带头人。
许宝騄先生把数学家分成三流，他说：

$\quad$“第一流的数学家，是有天才的，他们能开闯新的领域，如柯尔莫哥洛夫，冯.诺依曼，维纳这一类人，这些人是可望而不可及的。

$\quad$第二流数学家是靠刻苦学习而成的，认真消化整理前人的东西，在这个基础上有所创造发现，象欣钦这样的数学家就是这一类的，他写的《公用事业理论的数学方法》、《信息论基础》等就是消化整理的结果。这种工作对后人影响较大，年青人可以在这个基础上较快地进入科学的前沿，中国缺少一批做这一类工作的人。

$\quad$第三流的数学家只在某一、二个问题上有一点贡献，不能象第二流的那样有系统的工作。剩下的就是不入流的数学家了。”

	$\quad$他认为自己没有才能，是刻苦学习得到的，他也没有经验去培养有天才的人，他只能传授如何认真学习，努力钻研，埋头苦干的经验。他衷心希望他的学生超过他，一次他在讨论班上说：“自古以来，只有能教出状元来的老师是光荣的，至于做状元的学生那就没有什么了。”

$\quad$许宝騄的大弟子钟开莱和许一样也是一位才智出众的人物。他俩出生于历史名城杭州市，都对中国古典文学有深深的爱好和素养，他俩都能写出典雅的中文文章和英文文章。可以这么说，是许宝騄造就了钟开莱，若没有许宝騄的提拔，钟开莱恐怕就难以成名。钟开莱在中学时成绩很好，以双百、第一的成绩考进了西南联大，在大学期间成绩也很好，师从华罗庚研究数论。但钟与华都较自负，两人关系不很融洽，华罗庚出的论文题钟觉得不满意，钟就自己找题做。据说他们在讨论数学问题时，都曾拍案而起，互相反问“你有什么了不起？”学位答辩时，结果是全票通过。之后，询问导师的意见，决定他是否留校，华罗庚立即回答“不留”，但许宝騄马上说：“你不留我留”。一般来说，如果一个教授决定不留某一学生，别的教授不便再留，但许先生实在爱惜钟的才华，又知华、钟二人关系不好，结果钟开莱改从许先生。


$\quad$\begin{tabular}{|l|l|l|}
	\hline Years & where & Topics  \\
	\hline 1935 & Beijing & topology \\
	\hline 1938-1940 & London & statistics\\
	\hline 1941-1945 & Kunming & Random matrices \& Limiting distr.\\
	\hline 1946-1947 & USA & Matrices \& complete convergence \\
	\hline 1949-1964 & Beijing & Ch.f., Matrices trasf.,Markov processes, \\
	\hline & &  Experimental design \& Limiting distr. \\
	\hline 1968- & - & Markov chain,Random Mat.,\\
	\hline & & Limiting distr., Coding. \\
	\hline
\end{tabular}

\end{document}
